大型和超大语言模型的开发，例如GPT-3，T5，Switch Transformer，Ernie等，已经显着改善了文本生成的性能。该领域的重要研究方向之一是产生具有争论的文本。该问题的解决方案可以用于商务会议，政治辩论，对话系统，以准备学生论文。这些应用的主要领域之一是经济领域。俄罗斯语言的论证文本生成的关键问题是缺乏注释的论证语料库。在本文中，我们将论证的微观版，说服力论文和UKP句子语料库的翻译版本用于微调Rubert模型。此外，该模型用于通过论证注释经济新闻的语料库。然后使用带注释的语料库微调Rugpt-3模型，该模型生成参数文本。结果表明，与原始RUGPT-3模型相比，这种方法将论点生成的准确性提高了20个百分点（63.2％对42.5％）。

大型和超大语言模型的开发，例如GPT-3，T5，Switch Transformer，Ernie等，已经显着改善了文本生成的性能。该领域的重要研究方向之一是产生具有争论的文本。该问题的解决方案可以用于商务会议，政治辩论，对话系统，以准备学生论文。这些应用的主要领域之一是经济领域。俄罗斯语言的论证文本生成的关键问题是缺乏注释的论证语料库。在本文中，我们将论证的微观版，说服力论文和UKP句子语料库的翻译版本用于微调Rubert模型。此外，该模型用于通过论证注释经济新闻的语料库。然后使用带注释的语料库微调Rugpt-3模型，该模型生成参数文本。结果表明，与原始的Rugpt-3模型相比，这种方法将论点生成的准确性提高了20个百分点（63.2 \％vs. 42.5 \％）。

论证分析是一个计算语言学领域，该领域研究了从文本及其之间的关系中提取参数的方法以及文本的论证结构。本文是组织者关于在对话会议框架内涉及俄罗斯语言文本的第一个论证分析系统竞争的报告。在比赛期间，参与者得到了两项任务：立场检测和论证分类。准备了与Covid-19-19的大流行有关的三个主题（疫苗接种，隔离和戴口罩）的三个主题的语料库（有关社交媒体帖子的评论），并进行了注释，并用于培训和测试。在这两个任务中赢得第一名的系统都使用了BERT体系结构的NLI（自然语言推理）变体，自动翻译为英语以应用专业的BERT模型，在Twitter帖子上进行了讨论COVID-19，以及对COVID-19目标实体。该系统显示以下结果：对于立场检测任务，F1得分为0.6968，对于参数分类任务，F1得分为0.7404。我们希望准备好的数据集和基线将有助于进一步研究俄罗斯语言的论证挖掘。

大型预训练的语言模型能够产生多种多样的文本。从提示开始，这些模型产生了一种可以不可预测的叙述。现有的可控文本生成方法，该方法指导用户指定方向的文本中的叙述，需要创建培训语料库和额外的耗时培训程序。本文提出并调查了Contocation2Text，这是一种用于俄罗斯自动可控文本生成的插件方法，不需要微调。该方法基于两个交互模型：自回归语言Rugpt-3模型和自动编码语言Ruroberta模型。该方法的想法是根据自动编码模型的输出分布将自回归模型的输出分布移动，以确保文本中叙事的连贯过渡向指南短语，其中可以包含单个单词或搭配。能够考虑到令牌的左和右下方的自动编码模型“告诉”“自动回归模型”在当前一代步骤中，该模型是令牌最不合逻辑的，从而增加或降低了相应令牌的概率。使用该方法生成新闻文章的实验显示了其对自动生成的流利文本的有效性，这些文本包含用户指定的短语之间的连贯过渡。

情绪分析的主要方法是基于规则的方法和MA-CHINE学习，特别是具有伯特架构的跨前架构的深神经网络模型，包括伯特。神经网络模型在情感分析任务中的性能优于基于规则的方法的性能。由于深度神经网络模型的可辨运性差，这种情况的原因仍不明确。理解两种方法之间的基本差异的主要键之一是在神经网络模型中考虑情绪词典的分析。为此，我们研究了俄语rubert模型的注意力矩阵。我们在情感文本语料库上进行微调rubert，并比较注意力和中性词典的注意力分布。事实证明，与中性的相比，平均而言，各种模型Var-IANTS的3/4的头部统计上会更加关注情绪词典。

近年来，情感分析方法的表现大大增加。这是由于基于变压器架构的各种模型，特别是伯特。然而，深度神经网络模型难以训练和可解释不佳。一种替代方法是使用情绪词典的基于规则的方法。它们快速，不需要培训，并被解释得很好。但最近，由于深入学习的广泛使用，基于词汇的方法已经退出了背景。本文的目的是研究SO-CAL和Sentistrength Lexicon的方法，适用于俄语。我们已经测试了这些方法，以及rubert神经网络模型，16个文本语料库，并分析了他们的结果。Rubert平均优于基于词汇的方法，但So-Cal超过了16个Corea的Rubert超过16。

Self-attentive transformer models have recently been shown to solve the next item recommendation task very efficiently. The learned attention weights capture sequential dynamics in user behavior and generalize well. Motivated by the special structure of learned parameter space, we question if it is possible to mimic it with an alternative and more lightweight approach. We develop a new tensor factorization-based model that ingrains the structural knowledge about sequential data within the learning process. We demonstrate how certain properties of a self-attention network can be reproduced with our approach based on special Hankel matrix representation. The resulting model has a shallow linear architecture and compares competitively to its neural counterpart.

We apply topological data analysis (TDA) to speech classification problems and to the introspection of a pretrained speech model, HuBERT. To this end, we introduce a number of topological and algebraic features derived from Transformer attention maps and embeddings. We show that a simple linear classifier built on top of such features outperforms a fine-tuned classification head. In particular, we achieve an improvement of about $9\%$ accuracy and $5\%$ ERR on four common datasets; on CREMA-D, the proposed feature set reaches a new state of the art performance with accuracy $80.155$. We also show that topological features are able to reveal functional roles of speech Transformer heads; e.g., we find the heads capable to distinguish between pairs of sample sources (natural/synthetic) or voices without any downstream fine-tuning. Our results demonstrate that TDA is a promising new approach for speech analysis, especially for tasks that require structural prediction.

包括设备诊断和异常检测在内的工业分析很大程度上依赖于异质生产数据的整合。知识图（kgs）作为数据格式和本体作为统一数据模式是一个突出的解决方案，它提供了高质量的数据集成以及一种方便且标准化的方式来交换数据并将分析应用程序分层。然而，它们之间高度不匹配的本体和工业数据的本体学自然而然导致低质量的KG，这阻碍了工业分析的采用和可扩展性。实际上，这样的kg大大增加了为用户编写查询的培训时间，消耗大量存储以获取冗余信息，并且很难维护和更新。为了解决这个问题，我们提出了一种本体论重塑方法，将本体论转换为KG模式，以更好地反映基本数据，从而有助于构建更好的KGS。在这张海报中，我们对正在进行的研究进行了初步讨论，并通过Bosch上有关现实世界行业数据的大量SPARQL查询来评估我们的方法，并讨论我们的发现。

知识图（kg）用于广泛的应用中。由于行业的数据量和多样性，KG生成的自动化是非常需要的。 KG生成的一种重要方法是将原始数据映射到给定的KG模式，即域本体论，并根据本体论构建实体和属性。但是，这种本体的自动生成是苛刻的，现有的解决方案通常并不令人满意。一个重要的挑战是在本体工程的两个原则之间进行权衡：知识方向和数据取向。前者规定，本体应该对领域的一般知识进行建模，而后者则强调反映数据特异性以确保良好的可用性。我们通过我们的本体研究方法重塑方法来应对这一挑战，该方法将给定领域本体论转换为较小的本体论的过程是自动化的，该本体学是KG模式。域本体论可以设计为以知识为导向，而KG模式涵盖了数据特异性。此外，我们的方法允许在循环中将用户偏好包含在内。我们证明了我们正在进行的有关本体研究重塑的研究，并使用实际的工业数据进行了评估，并有令人鼓舞的结果。